Nơi đây có nhiều thắng cảnh tâm linh nổi tiếng như chùa Đót Tiên, đền Quang Trung, 4 nhà thờ công giáo, đặc biệt phải kể đến nhà thờ giáo xứ Ba Làng.

Theo sử sách ghi lại rằng: Vào ngày lễ thánh Giuse (19 tháng 3 năm 1627), các linh mục Đắc Lộ (Alexandre de Rhodes) và Marquez, trên đường ra giảng đạo tại Đàng Ngoài, đã đặt chân lên Cửa Bạng. Sau hơn hai tháng giảng đạo, các thừa sai đã rửa tội được 32 người.